Controle baseado em comportamento aplicado a robótica móvel usando hardware reconfigurável

Dissertação (mestrado) — Universidade de Brasília, Faculdade de Tecnologia, Departamento de Engenharia Mecânica, 2022.A navegação de robôs moveis é uma área de pesquisa com diferentes desafios tecnológicos, desde desenvolvimento mecânico, sensoriamento, até em termos de processamento computacional. Em particular, o controle de robôs móveis envolve sistemas complexos que para ser modelados é necessário ter conhecimentos em áreas correlatas a sistemas de controle. A metodologia de aprendizagem por demonstração permite projetar controladores mediante a imitação de comportamentos. Esta área é relevante devido a capacidade de solucionar problemas complexos de controle de robôs e às facilidades que a metodologia apresenta. Entretanto, a aplicação desta metodologia requer sistemas embarcados com uma adequada capacidade de processamento e baixo consumo energético. Nesse sentido, poucas pesquisas têm sido desenvolvidas visando explorar soluções em hardware no intuito de acelerar os algoritmos envolvidos no processo de treinamento da metodologia de aprendizagem por demonstração. Esta dissertação descreve o desenvolvimento da metodologia de aprendizagem por demonstração embarcada em hardware reconfigurável baseado num sistema em chip (SoC do inglês Sistem on Chip), aplicado a robótica móvel. Para o processo de aprendizagem foi usada uma rede neural de camada simples com capacidade de adaptação e para o treinamento da mesma foi usado o algoritmo de otimização por enxame de partículas. Para realizar uma validação metodológica foi desenvolvida uma plataforma robótica móvel de tração diferencial de pequeno porte chamada Maria, que esta constituída por um SoC FPGA (Field Programmable Gate Array), quatro sensores de distancia infravermelhos, dois encoders, dois micro-motores, entre outros componentes. Seguidamente, três micro-comportamentos foram ensinados, a saber, avançar para frente, girar no sentido horário e girar no sentido anti-horário. Apos o processo de treinamento, o estágio de imitação foi implementado e dezesseis experimentos foram conduzidos para cada um dos micro-comportamentos, obtendo dados estatísticos de cada comportamento ensinado. Adicionalmente, um protocolo experimental foi proposto para testar o robô em cenários desconhecidos, afim de avaliar as capacidades de abstração da rede neural adaptativa. O erro de trajetória para o micro-comportamento girar no sentido horário foi de 4.8302 , com um 100% de sucesso, do micro-comportamento girar no sentido anti-horário foi de 6.872,42 , com um 75% de sucesso e 25% de falhas, e o erro para o micro-comportamento de avançar para frente foi de 202, com um 81,25% de sucesso e um 18,75% de falhas. Adicionalmente o consumo total de recursos da implementação da metodologia em hardware foi de 13.662 LookUp Table, 12 processadores digitais de sinais e 8.993 Flip Flops, uma dissipação de potencia de 1,336 com um tempo de execução para cada micro-comportamento de 9,1344.The navigation of mobile robots is a research area with different technological challenges, from mechanical development, sensing, and even in terms of computational processing. In particular, the control of mobile robots involves complex systems that, to be modeled, it is necessary to have experience in control systems. The learning from demonstration methodology allows designing controllers by imitating behaviors. This area is gaining strength because of its ability to solve complex control problems and its easy implementation. However, this methodology requires the development of embedded systems with good computational performance and low energy consumption. In this sense, the community has not conducted research projects to explore reconfigurable hardware to accelerate the algorithms involved in the training process. This work describes the development of the learning from demonstration methodology using embedded hardware applied to mobile robotics. A single-layer neural network with adaptiveness was used along with the particle swarm optimization algorithm were used for the learning process. To carry out a methodological validation, a small mobile robotic platform of differential traction called Maria was developed, which is constituted by a SoC FPGA (Field Programmable Gate Array), four infrared distance sensors, two encoders, two micro-motors, among others. components. Three micro-behaviors were taught move forward, rotate clockwise, and rotate counter-clockwise, After the training process, the imitation stage was implemented and sixteen experiments were conducted for each of the micro-behaviours, obtaining statistical data for each taught behavior.Additionally, an experimental protocol was proposed to test the robot in unknown scenarios, in order to evaluate the abstraction capabilities of the adaptive neural network.The trajectory error for the microbehavior to rotate in the direction clockwise was 4.8302 with a 100% success, the micro-behavior turning counterclockwise was 6.872,42 with a 75% success and 25% failure, and the error for the micro-behavior moving forward was 202 with an 81,25% success rate and an 18,75% failure rate.Additionally, the total resource consumption of the methodology implementation in hardware was 13.662 LookUp Table, 12 digital signal processors and 8.993 Flip Flops, a power dissipation of 1,336 with a runtime for each micro-behavior of 9,1344s

Enhancement of the Sensory Capabilities of Mobile Robots through Artificial Olfaction

La presente tesis abarca varios aspectos del olfato artificial u olfato robótico, la capacidad de percibir información sobre la composición del aire que rodea a un sistema automático. En primer lugar, se desarrolla una nariz electrónica, un instrumento que combina sensores de gas de bajas prestaciones con un algoritmo de clasificación para medir e identificar gases. Aunque esta tecnología ya existía previamente, se aplica un nuevo enfoque que busca reducir las dimensiones y consumo para poder instalarlas en robots móviles, a la vez que se aumenta el número de gases detectables mediante un diseño modular. Posteriormente, se estudia la estrategia óptima para encontrar fugas de gas con un robot equipado con este tipo de narices electrónicas. Para ello se llevan a cabos varios experimentos basados en teleoperación para entender como afectan los sensores del robot al éxito de la tarea, de lo cual se deriva finalmente un algoritmo para generar con robots autónomos mapas de gas de un entorno dado, el cual se inspira en el comportamiento humano, a saber, maximizar la información conocida sobre el entorno. La principal virtud de este método, además de realizar una exploración óptima del entorno, es su capacidad para funcionar en entornos muy complejos y sujetos a corrientes de vientos mediante un nuevo método que también se presenta en esta tesis. Finalmente, se presentan dos casos de aplicación en los que se identifica de forma automática con una nariz electrónica la calidad subjetiva del aire en entornos urbanos

Modeling and path tracking control of an outdoor robotic ground vehicle

Orientador: Ely Carneiro de PaivaDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecânicaResumo: Veículos terrestres autônomos tem recebido uma atenção especial dos estudos de robótica nos últimos anos. Suas aplicações incluem segurança na condução, exploração de locais inóspitos e automatização agrícola. O enfoque deste trabalho situa-se no projeto VERO, em parceria com o CTI, e tem por objetivo o desenvolvimento de aplicações de controle de trajetória para um veículo do tipo todo-terreno. Para tal, um modelo completo (dinâmico e tridimensional) é desenvolvido, com uma atenção especial para os modelos de interação entre solo e pneu, responsáveis pelas forças não lineares atuantes sobre o veículo. Em seguida, dois modelos reduzidos e linearizados são obtidos e estes são utilizados para a síntese de controladores LQR. Uma comparação entre os controladores é realizada e a resposta de um deles é detalhada para uma análise sobre a influência das características do modelo veicular sobre o controle do veículo. Por fim, três abordagens são propostas para melhorar a resposta obtida pelos controladoresAbstract: Autonomous ground vehicles have received special attention from robotics studies in past years. Their applications include advanced driver assistance systems (ADAS), exploration of inhospitable environments and harvest autonomous machines. In partnership with CTI, this master's thesis focuses in the development of path tracking controllers applied to off-road vehicles. In order to simulate vehicle characteristics, a complete three-dimensional nonlinear dynamic model was proposed with emphasis on tire-road interaction models, which are responsible for most of the vehicle's nonlinearities. In sequence, two vehicle reduced linear models are presented and applied to synthesize LQR controllers, whose results are compared. One of them was chosen to analyze the effect of vehicles's three-dimensional dynamics on path tracking control. Finally, three different approaches are proposed to enhance controllers performanceMestradoPlanejamento de Sistemas EnergeticosMestre em Engenharia Mecânic

Estudio y realización de un neuroprocesador biológico: métodos de aprendizaje

[SPA] La presente tesis se enmarca dentro de dos campos diferentes pero intrínsecamente unidos entre sí en este caso: neurociencia y computación. El objetivo global de esta tesis es la realización de un neuroprocesador biológico empleando como plataforma redes neuronales biológicas cultivadas sobre matrices de microelectrodos. Este objetivo global resulta en una serie de sub-objetivos: (1) Definición y construcción de una plataforma para el soporte en tiempo real de los sistemas de adquisición de registros neuronales, y estimulación eléctrica de los mismos, que se comunique remotamente con un dispositivo robótico. (2) Estudio y propuesta de un método de guiado robótico basado en una plataforma de lazo cerrado que integre la información de los sensores del robot en el neuroprocesador y, en función de la respuesta de éste, direccione el sistema robótico. (3) Normalización y calibración estadística de los registros del neuroprocesador para su adecuación a los distintos algoritmos de guiado robótico y aprendizaje en los cultivos neuronales. (4) Estudio y definición de técnicas de aprendizaje en cultivos neuronales para la realización de conectividad funcional dirigida con objeto de proporcionar nuevos paradigmas de programación en neuroprocesadores biológicos. Con respecto al sub-objetivo (1), se ha propuesto un sistema de experimentación con cultivos neuronales en lazo cerrado y tiempo real que proporciona las herramientas de filtrado, visualización, procesamiento y estimulación de la respuesta electrofisiológica de poblaciones neuronales y su comunicación con un sistema robótico remoto. Para alcanzar el objetivo (2), se ha adaptado el algoritmo de centro de área para guiado robótico a las respuestas funcionales de las poblaciones de neuronas, identificando aquellos electrodos de la matriz cuyas neuronas incrementan en mayor medida sus disparos, como objetivo para el direccionamiento del robot. El cumplimiento del sub-objetivo (3) se ha conseguido al proporcionar técnicas de calibración y normalización estadística de los registros de poblaciones de neuronas que conforman el neuroprocesador, con objeto de suprimir la variabilidad intrínseca de las mismas y a las distintas características de no-homogeneidad tanto en la densidad del cultivo como en las propiedades eléctricas de los distintos electrodos. Finalmente, atendiendo al sub-objetivo (4), se ha propuesto un paradigma de aprendizaje natural, como es el aprendizaje hebbiano, para la conformación de conexiones funcionales entre electrodos que no se encontraban enlazados previamente y conseguir de esta forma el modelado del cultivo para la implementación en su estructura de las funciones a implementar, en este caso las estructuras de Braitenberg.[ENG] This thesis deals with two different fields, inherently related to each other in this case: neuroscience and computation. The overall objective of this thesis is the development of a biological neuroprocessor with cultured biological neural networks using microelectrode arrays as platform. This objective results in a set of specific subobjectives: (1) Define and build a platform for real time support of acquisition systems and electrical stimulation systems of neural registers, which remotely communicates with a robotic device. (2) Study and propose a robotic guidance method based on a close-loop platform which includes the sensory robot information in the neuroprocessor and, according to its response, guides the robotic system. (3) Normalization and statistic calibration of the registers of the neuroprocessor in order to adapt them to different algorithms of robotic guidance and learning in cultured neural networks. (4) Study and define learning techniques in neural cultures for the development of functional connectivity which allows new programming paradigms in biological neuroprocessors. Regarding objective (1), a real-time close-loop experimentation system with neural cultures has been proposed, which provides a complete solution for filtering, visualization, processing and stimulation of electrophysiological response from neural population and communication with a robotic system. In order to reach objective (2), centre of area algorithm for robotic guidance has been adapted to the functional response of neural populations, identifying those electrodes from the array whose neurons increase the most its firing rate, as target for robotic guidance. Objective (3) has been met giving statistic calibration and normalization techniques of neural population registers that conform the neuroprocessor having in mind the goal of supressing the intrinsic variability of those populations and the different nonhomogeneity characteristics, both in culture density and electrical properties of the electrodes. Finally, regarding objective (4), a natural learning paradigm has been proposed, Hebbian learning, to conform functional connections between previously not connected electrodes. In this way, the cultures can be modelled for implementing the desired behaviour in the biological structure, in this case Braitenberg behaviour.Universidad Politécnica de Cartagen

Egocentric Computer Vision and Machine Learning for Simulated Prosthetic Vision

Las prótesis visuales actuales son capaces de proporcionar percepción visual a personas con cierta ceguera. Sin pasar por la parte dañada del camino visual, la estimulación eléctrica en la retina o en el sistema nervioso provoca percepciones puntuales conocidas como “fosfenos”. Debido a limitaciones fisiológicas y tecnológicas, la información que reciben los pacientes tiene una resolución muy baja y un campo de visión y rango dinámico reducido afectando seriamente la capacidad de la persona para reconocer y navegar en entornos desconocidos. En este contexto, la inclusión de nuevas técnicas de visión por computador es un tema clave activo y abierto. En esta tesis nos centramos especialmente en el problema de desarrollar técnicas para potenciar la información visual que recibe el paciente implantado y proponemos diferentes sistemas de visión protésica simulada para la experimentación.Primero, hemos combinado la salida de dos redes neuronales convolucionales para detectar bordes informativos estructurales y siluetas de objetos. Demostramos cómo se pueden reconocer rápidamente diferentes escenas y objetos incluso en las condiciones restringidas de la visión protésica. Nuestro método es muy adecuado para la comprensión de escenas de interiores comparado con los métodos tradicionales de procesamiento de imágenes utilizados en prótesis visuales.Segundo, presentamos un nuevo sistema de realidad virtual para entornos de visión protésica simulada más realistas usando escenas panorámicas, lo que nos permite estudiar sistemáticamente el rendimiento de la búsqueda y reconocimiento de objetos. Las escenas panorámicas permiten que los sujetos se sientan inmersos en la escena al percibir la escena completa (360 grados).En la tercera contribución demostramos cómo un sistema de navegación de realidad aumentada para visión protésica ayuda al rendimiento de la navegación al reducir el tiempo y la distancia para alcanzar los objetivos, incluso reduciendo significativamente el número de colisiones de obstáculos. Mediante el uso de un algoritmo de planificación de ruta, el sistema encamina al sujeto a través de una ruta más corta y sin obstáculos. Este trabajo está actualmente bajo revisión.En la cuarta contribución, evaluamos la agudeza visual midiendo la influencia del campo de visión con respecto a la resolución espacial en prótesis visuales a través de una pantalla montada en la cabeza. Para ello, usamos la visión protésica simulada en un entorno de realidad virtual para simular la experiencia de la vida real al usar una prótesis de retina. Este trabajo está actualmente bajo revisión.Finalmente, proponemos un modelo de Spiking Neural Network (SNN) que se basa en mecanismos biológicamente plausibles y utiliza un esquema de aprendizaje no supervisado para obtener mejores algoritmos computacionales y mejorar el rendimiento de las prótesis visuales actuales. El modelo SNN propuesto puede hacer uso de la señal de muestreo descendente de la unidad de procesamiento de información de las prótesis retinianas sin pasar por el análisis de imágenes retinianas, proporcionando información útil a los ciegos. Esté trabajo está actualmente en preparación.<br /

Manipulador aéreo con brazos antropomórficos de articulaciones flexibles

[Resumen] Este artículo presenta el primer robot manipulador aéreo con dos brazos antropomórficos diseñado para aplicarse en tareas de inspección y mantenimiento en entornos industriales de difícil acceso para operarios humanos. El robot consiste en una plataforma aérea multirrotor equipada con dos brazos antropomórficos ultraligeros, así como el sistema de control integrado de la plataforma y los brazos. Una de las principales características del manipulador es la flexibilidad mecánica proporcionada en todas las articulaciones, lo que aumenta la seguridad en las interacciones físicas con el entorno y la protección del propio robot. Para ello se ha introducido un compacto y simple mecanismo de transmisión por muelle entre el eje del servo y el enlace de salida. La estructura en aluminio de los brazos ha sido cuidadosamente diseñada de forma que los actuadores estén aislados frente a cargas radiales y axiales que los puedan dañar. El manipulador desarrollado ha sido validado a través de experimentos en base fija y en pruebas de vuelo en exteriores.Ministerio de Economía y Competitividad; DPI2014-5983-C2-1-